Estoy tratando de leer datos de mongodb (que se ejecuta en AWS Documentdb) y escribir en bigquery.
He escrito el código python para eso y lo ejecuto usando el comando python3. La cadena de mi canalización se ve a continuación:
p | ReadFromMongoDB(uri='mongodb://documentdb_url:27017',db="test_db",coll="test_collection") | beam.Map(json_parse_fun) | 'WriteToBigQuery' >> beam.io.WriteToBigQuery('target_bq_table', write_disposition=beam.io.BigQueryDisposition.WRITE_APPEND)json_parse_fun() convierte los datos de mongodb en un archivo JSON.
pero cuando ejecuto este código, el trabajo de flujo de datos falla con el siguiente error:
pymongo.errors.OperationFailure: Feature not supported: splitVectorMongoDB no "se ejecuta en DocumentDB".
DocumentDB es una base de datos de imitación que implementa algunas de las características de MongoDB. Encontraste una función que no implementa.
Consulte "Característica no admitida: $ texto" en el documento db con compatibilidad con mongodb 3.6 .